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(57) Abstract 

Output signals of individual, computer-assisted statistical estimators 
(neural networks) are combined into a results signal in a global estimator. 
To this end, the individual estimators are trained selectively by means of 
bootstrap data and the weightings of the individual estimators effected in 
a regularized manner as a contribution to the results signals. Weighting is 
carried out selectively with "1" or according to the variance of the individual 
estimator concerned. As a result, significantly better results are achieved for 
the prediction of numerical values, especially if the amount of training data 
available is small. Said method can be used for modelling, prognosis and 
classification by means of neural networks. 

(57) Zusammenfassung 

Ausgangssignale einzelner rechnergesttitzter statistischer Schatzer (neu- 
ronale Netze) werden zu einem Ergebnissignal in einem Gesamtschatzer 
zusammengefaBt. Dabei werden die einzelnen Schatzer wahlweise tiber Boot- 
strap-Daten trainiert und die Gewichtungen der einzelnen Schatzer als Beitrag 
zum Ergebnissignal regularisiert vorgenommen. Die Gewichtung erfolgt 
wahlweise mit "1" oder abhangig von der Varianz des einzelnen Schatzers. Bei 
der Vorhersage von Zahlenwerten werden somit vor allem bei einer kleinen 
Menge zur Verfugung stehender Trainingsdaten deutlich bessere Ergebnisse 
erzielt. Anwendungen: Modellierung, Prognose und Klassifikation mittels 
neuronaler Netze. 
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Beschreibung 

Verfahren zur Kombination von Ausgangssignalen mehrerer 
Schatzer, insbesondere von mindestens einem neuronalen Netz, 
5 zu einem von einem Gesamtschatzer ermittelten Ergebnis signal 

Die Erfindung betrifft ein Verfahren zur Kombination von 
Ausgangssignalen mehrerer Schatzer, insbesondere von 
mindestens einem neuronalen Netz, zu einem von einem 
10 Gesamtschatzer ermittelten Ergebnissignal. 

Bei neuronalen Netzen und anderen rechnergestiitzten 
Schatzern, die auf statistischen Verfahren beruhen, ist es 
zweckmaiiig, wenn ein Problem einer Zuordnung von 
15 Eingangssignalen zu Ausgangssignalen in eine reduzierte Menge 
von Zuordnungen aufgeteilt wird. 

Es ist bekannt, einen rechnergestiitzten statistischen 
Schatzer, also beispielsweise ein neuronales Netz, in mehrere 
20 kleinere rechnergestutzte statistische Schatzer aufzuteilen 
und Ausgangssignale dieser vereinf achten Schatzer zu 
gewichten und in einem Gesamtschatzer zu einem Ergebnissignal 
zu akkumulieren [1]. 

25 Um die Ergebnisse bei der Akkumulierung zu verbessern ist aus 
[2] bekannt, die Ausgangssignale aller Module, also aller 
einzelnen Schatzer, zu mitteln, und somit das von einem 
Gesamtschatzer ermittelte Ergebnissignal zu verbessern. 

30 Hierbei sei angemerkt, daii sich der Begriff des statistischen 
Schatzers nicht ausschlieiilich auf kunstliche neuronale Netze 
beschrankt, sondern jedwede Art rechnergestiitzter Schatzer 
umfafit, die auf statistischen Verfahren basieren. Eine 
Ubersicht uber rechnergestutzte Schatzer, die auf 

35 statistischen Verfahren basieren ist in [3] gegeben. 
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Eine Regular isation ist aus [6] bekannt. Insbesondere wird 
darunter das Hinzufugen eines Terms zu einer Fehler f unktion 
verstanden. Ein Regularisationsparameter bestimmt dabei das 
Gewicht des Terms zur Regularisation . 

5 

Aus [7] ist ein Verfahren zur rechnergestlitzten Kombination 
einer Vielzahl von Schatzern, die auf statistischen Verfahren 
beruhen, insbesondere von neuronalen Netzen, zu einem 
Gesamtschatzer bekannt. 

10 

Dem erfindungsgemafien Verfahren liegt die Aufgabe zugrunde, 
bei einer kleinen Menge von Trainingsdaten ein Uberlernen der 
statistischen Schatzer zu verhindern und somit ein von dem 
Gesamtschatzer ermitteltes Ergebnissignal zu verbessern. 

15 

Die Aufgabe wird gemaft der Merkmale des unabhangigen 
Patentanspruchs gelost . 

Insbesondere ist fur die Erfindung von Bedeutung, dali bei dem 

20 Training des einzelnen Schatzers, insbesondere des neuronalen 
Netzes, eine Regularisation vorgenommen wird. Weiterhin 
werden die Ausgangssignale der einzelnen Schatzer mit je 
einer Gewichtsf unktion bewertet. Dabei hangt jede 
Gewichtsf unktion von den Daten, mit denen der jeweilige 

25 Schatzer trainiert wird, ab. Der Gesamtschatzer mittelt die 
Ausgangssignale aller einzelnen Schatzer zu einem 
Ergebnissignal. Es ist vorteilhaft, daB bei dem Training 
jedes einzelnen Schatzers die Kostenf unktion minimiert wird, 
wobei ein vorgebbarer Regularisationsparameter angibt, 

30 inwieweit die Varianz des einzelnen Schatzers verringert wird 
zu Lasten eines zunehmenden Einflusses von Rauschen. Werden 
die einzelnen Schatzer mit Bootstrapdaten trainiert, erhalt 
man trotz groBer Werte des Regularisationsparameters noch 
groJJe Varianzen. Unter Bootstrapdaten versteht man Daten, die 

35 aus der Menge der Originaldaten durch Ziehen mit Zurucklegen 
gewonnen werden. Fur eine nahere Betrachtung der 
Bootstraptechniken kann auf [4] verwiesen werden. 



WO 98/34177 



PCT/DE98/00267 



3 



Eine Weiterbildung des erfindungsgemafien Verfahrens besfeht 
darin, die Gewichtsf unktion fur alle Schatzer zu f l f zu 
setzen, Weiterhin konnen die einzelnen Schatzer zusatzlich 
5 mit Bootstrapdaten trainiert werden. 

Auch kann es vorteilhaft sein, in der Gewichtsf unktion die 
Varianz zu berucksichtigen . Daruber hinaus konnen auch in 
diesem Fall die jeweiligen Schatzer mit Bootstrapdaten 
10 trainiert werden. 

Weiterbildungen des er f indungsgemafien Verfahrens ergeben sich 
aus den abhangigen Anspruchen. 

15 Die Erfindung wird anhand der folgenden Figuren naher 
dargestellt . 

Es zeigen 

Fig.l ein Blockdiagrainm, das schematisch eine Anordnung 
20 darstellt, die zeigt, wie die Ausgangssignale 

mehrerer einzelner Schatzer zu einem Ergebnissignal 
in einem Gesamtschatzer zusammengef iihrt werden, 

Fig. 2 ein Ablauf diagramm, das die einzelnen Schritte des 
erfindungsgemafien Verfahrens darstellt. 

25 

In Fig.l ist dargestellt, wie die Ausgangssignale der 
einzelnen Schatzer zu einem Ergebnissignal im Gesamtschatzer 
zusammengef iihrt werden. Im Folgenden werde angenommen, daft 
i=l,2,...,k eine Zellvariable fur die einzelnen Schatzer ES 
30 darstellt. Jeder einzelne Schatzer ES wird durch eine 
vorgebbare Auswahl von Trainingsdaten x trainiert. 

Unter einzelnen Schatzern ES werden in diesem Zusammenhang 
rechnergestutzte statistische Schatzer verstanden, wie 
35 beispielsweise neuronale Netze oder jedwede Art anderer 
Schatzer, die auf statistischen Verfahren beruhen. 
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Algorithmen zum Trainieren s tatis tischer Schatzer sind dem 
Fachmann bekannt. Eine Ubersicht betreffend eine Auswahl von 
Trainingsalgorithmen ist in [5] gegeben. 

5 Es ist vorgesehen, daB die einzelnen Schatzer ES nicht alle 
mit denselben Trainingsdaten x trainiert werden, sondern sie 
konnen auch jeweils nur mit einem Teil der Trainingsdaten x 
trainiert werden, wie das beispielsweise bei Bootstrapdaten 
der Fall ist. 

10 

Durch Gewichtsfunktionen werden Ausgangssignale Aj_ der 
einzelnen Schatzer ES gewichtet, wobei die jeweilige 
Gewichtsf unktion a± von den Daten, mit denen der jeweilige 
einzelne Schatzer ES trainiert wird, abhangt . 

15 

Das vom Gesamtschatzer GS ermittelte Ergebnissignale ERS 
liegt am Ausgang des Gesamtschatzer GS an und wird wie folgt 
berechnet : 

1 M 

2 0 ERS(x) = -j-ir £ h i(x) f i( x ) (1), 

n(x) ~ 

M 

mit n(x) = X h j( x ) und hi(x) > 0, Vi = 1,2, . . , M , 
j = l 

wobei 

25 hi (x) . eine Gewichtsf unktion flir den jeweiligen Schatzer 

und 

n(x) einen Normalisierungsf aktor 

bezeichnen . 

30 Jeder einzelne Schatzer ES wird regularisiert trainiert, urn 
die Kostenf unktion 



ci = £ (y k - fi(x k )f + X- £ w?j 

k=l j=l 



(2) 
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zu minimieren, wobei 

i=l,2,..,M den jeweiligen Schatzer, 

K c L eine Menge von K Trainingsdaten aus einer Menge 

5 von L Gesamttrainingsdaten, 

y einen Ausgabewert des jeweiligen Schatzers, 

f j_ (x) eine Antwort des i-ten Schatzers auf die Eingabe 

x, 

X > 0 einen Regularisationsparameter , 

10 J eine Anzahl von Gewichten in dem jeweiligen 

Schatzer und 



Gewichte des i-ten Schatzers, 



bezeichnen . 



15 Die Gewichtsfunktion h^ fur jeweils alle Schatzer kann 
gesetzt werden zu 

h ± (x) = 1 (3) 

20 oder zu 

M x ) = — T~T1\ (4) ' 

var(fi(x)J 

wobei var(fi(x)) die Varianz des Schatzers i fiir eine 
25 Eingabe x bezeichnet. 

Es ist vorteilhaft, sowohl die nach Gleichung (3) also auch 
nach Gleichung (4) gewichteten einzelnen Schatzer jeweils mit 
Bootstrapdaten zu trainieren. 

30 

Anwendung des erf indungsgemaiien Verfahrens ist die Pradiktion 
von Zahlenf olgen . Eine Menge von vergangenen bekannten 
Zahlenwerten wird benutzt urn einen Schatzer zu trainieren, 
der entsprechend dem erf indungsgemaJJen Verfahren unterteilt 
35 ist in einzelne Schatzer und einen Gesamtschatzer. Das somit 
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trainierte System aus mindestens einem rechnergestlitzten 
statistischen Schatzer ist in der Lage, mit einer bestimmten 
Vorhersagewahrscheinlichkeit den nachsten Wert einer 
Zahlenf olge vorherzusagen . 

5 

Fig .2 zeigt die einzelnen Schritte des erf indungsgemaften 
Verfahrens. In Schritt 2a wird ein regularisiertes Training 
vorgenommen, wobei die Kostenf unktion (2) minimiert werden 
soli. Dazu muii der Regularisationsparameter X entsprechend 
10 der jeweiligen Anwendung eingestellt werden. Im Schritt 2b 
wird die Gewichtsf unktion fur jeden Schatzer berechnet. Als 
Gewichtsf unktion wird entweder Formel (3) oder Formel (4) 
verwendet . 

15 SchlieJilich wird das Ergebnissignal im Schritt 2c gemaB 
Formel (1) berechnet. 



WO 98/34177 



7 



PCT7DE98/00267 



Ira Rahmen dieses Dokuments wurden folgende Verof f entlichungen 
zitiert : 

[1] R. Jacobs et al.: Adaptive Mixtures of Local Experts/ 
Neural Computation, Vol.3, Massachusetts Institute of 
Technology, 1991, S. 79-87. 

[2] M. Perrone: Improving Regression Estimates: Averaging 
Methods for Variance Reduction with Extensions to 
General Convex Measure Optimization, PhD thesis, Brown 
University, USA, 1993, S. 10-21. 

[3] J. Hartung et al . : Statistik, Oldenbourg Verlag, 

9.Auflage, Munchen 1993, ISBN 3-486-22055-1, S. 123-142. 

[4] Efron B. and Tibshirani R. : An Introduction to the 
Bootstrap, Chapman and Hall 1993, S. 45-49. 

[5] J. Hertz et al . : Introduction to the Theory of Neural 
Computation, Addison-Wesley Publishing Company 1991, 
ISBN 0-201-51560-1, S. 89-156. 

[6] CM. Bishop: Neural Networks for Pattern Recognition, 
Clarendon Press, Oxford 1995, ISBN 0-19 853849 9, 
Kapitel 5.4, Seiten 171-175. 



[7] 



DE 195 26 954 CI 



WO 98/34177 



8 



PCT/DE98/00267 



Patentanspruche 

1. Verfahren zur Kombination von Ausgangssignalen mehrerer 
Schatzer, insbesondere von mindestens einem neuronalen 
Netz, zu einem von einem Gesamtschatzer ermittelten 
Ergebnis signal , 

a) bei dem die einzelnen Schatzer als neuronale Netze 
ausgefiihrt sind und mit vorgebbaren Daten trainiert 
werden, 

b) bei dem das Training der Schatzer regularisiert 
vorgenommen wird, 

c) bei dem das Ausgangssignal jedes einzelnen Schatzers 
mit einer Gewichtsf unktion bewertet wird, 

d) bei dem jede Gewichtsf unktion von den Daten, mit denen 
der jeweilige Schatzer trainiert wird, abhangt, 

e) bei dem das Ergebnissignal vom Gesamtschatzer 
ermittelt wird, indem die Ausgangssignale unter 
Beriicksichtigung der jeweiligen Gewichtsf unktionen 
gemittelt werden. 

2. Verfahren nach Anspruch 1, 

bei dem jeder Schatzer regularisiert trainiert wird, urn 
die Kostenf unktion C 



I (y* - fi (x*)) : 

c = l 



j=i 



j 




ij 



zu minimieren, wobei 



i=l,2, 
K c L 



M 



den jeweiligen Schatzer, 

eine Menge von K Trainingsdaten aus einer 
Menge von L Gesamttrainingsdaten, 
einen Ausgabewert des jeweiligen 
Schatzers, 

eine Antwort des i-ten Schatzers auf die 
Eingabe x, 

einen Regularisationsparameter , 



y 



fi (x) 



X > 0 
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eine Anzahl von Gewichten in dem 
j eweiligen Schatzer, 



! J 

»j=i 

bezeichnen . 



| w ij) ' hte de^ -t< hat 3, 



3. Verfahren nach Anspruch 2, 

bei dem sich das Ergebnissignal (ERS) des Gesamtschatzers 
ergibt aus 

1 M 

10 ERS(x) = -j-rr Xhi(x)fi(x) 

n(x) i = l 



M 

z 

j=l 



rait n(x) = X h j( x ) und h i( x ) > 0, Vi = 1,2, . • , M , 



wobei 

15 hi (x) eine Gewichtsf unktion fur den jeweiligen 

Schatzer und 
n(x) einen Normalisierungsf aktor , 

bezeichnen. 

20 4. Verfahren nach Anspruch 3, 

bei dem die Gewichtsf unktion (h) fur alle Schatzer 
gesetzt wird zu 



hi(x) = 1, Vi = 1,2, . . . , M . 

5. Verfahren nach Anspruch 4, 

bei dem die jeweiligen Schatzer mit Bootstrap-Daten 
trainiert werden. 



30 6. Verfahren nach Anspruch 3, 

bei dem die Gewichtsf unktion (h) fur alle Schatzer 
gesetzt wird zu 
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hj_(x) = } v , Vi = 1,2, . • . / M , 

var^fi(x)J 

wobei 

var (fi (x) ) die Varianz des Schatzers i fur eine 

Eingabe x 

bezeichnet . 

7. Verfahren nach Anspruch 6, 

bei dem die jeweiligen Schatzer mit Bootstrap-Daten 
trainiert werden. 



WO 98/34177 



PCT7DE98/00267 




WO 98/34177 



PCT/DE98/00267 



2/2 



FIG 2 




regularisiertes 
Training 



2b- 



Gewichts- 
funktion fur 
jeden Schatzer 
berechnen 




Ergebnissignal 
berechnen 



